Dinh thự đầu tiên được xây dựng bởi Diễn Thánh Công vào năm 1038 dưới thời nhà Tống. Đến năm 1377, dinh thự được di rời và được xây dựng lại theo lệnh của hoàng đế Minh Thái Tổ Chu Nguyên Chương. Năm 1503, dưới thời trị vì của Minh Hiếu Tông Chu Hữu Đường, khu phức hợp được mở rộng thành ba dãy tòa nhà với 560 phòng và 9 sân. Đến thời nhà Thanh, dinh thự đã được tu sửa hoàn chỉnh vào năm 1838 và chỉ bị hưu hại khi một ngọn lửa phá hủy khu nhà ở của phụ nữ vào năm 1886. Ngay kể cả khi đám cháy xảy ra, những người đàn ông cũng không dám bước chân vào khu vực của phụ nữ để dập lửa khiến thiệt hại của nó lớn hơn. Khu vực bị hư hại được xây dựng lại hai năm sau đó, chi phí xây dựng của cả hai lần tân trang lại dinh thự đều được hoàng đế lo liệu. Mặc dù có những thay đổi sau này nhưng dinh thự vẫn mang kiến trúc chủ yếu của một tư gia nhà Minh được bảo quản tốt. Người cuối cùng sống trong dinh thự này là Khổng Đức Thành, con cháu đời thứ 77 của Khổng Tử. Ông sau đó đã trốn tại Trùng Khánh trong Chiến tranh Trung-Nhật thứ hai năm 1937 và sau đó đã không trở lại Khúc Phụ nữa mà sang Đài Loan trong cuộc Nội chiến Trung Quốc.[3] Có một dinh thự của gia tộc họ Khổng khác ở Cù Châu, nơi đã được xây dựng bởi một nhánh những con cháu của gia tộc sống ở phía nam.